🗨 Когда стоит рассматривать разбиение датасета вместо применения глобального преобразования
В тех случаях, когда в датасете присутствуют разные подгруппы с различными распределениями.
🔍Пример: Если есть данные о доходах из разных регионов. Один регион — с высоким уровнем доходов, другой — с низким. В совокупности распределение выглядит сильно смещённым или даже мультимодальным (несколько пиков).
В такой ситуации попытка применить глобальное преобразование (например, логарифм или Box-Cox) ко всему датасету сразу не устраняет проблему. Это всё ещё не одно распределение, а смесь разных.
✅Что делать: 📍Разбить данные на логически обоснованные подгруппы (по региону, демографии, сегменту бизнеса и т.д.). 📍Применить отдельные преобразования или даже обучить отдельные модели для каждой подгруппы. 📍При необходимости объединить результаты анализа или прогнозы обратно.
✅Что важно учитывать: 📍Разделение должно быть обосновано теоретически или доменной экспертизой. Разделение «наугад» может привести к переобучению или утечке информации. 📍Объём данных в каждой подгруппе должен быть достаточным для построения статистически надёжных моделей или трансформаций.
✅Вывод: Если данные представляют собой смешение разных источников или популяций, лучше работать с ними отдельно. Глобальные методы нормализации или преобразования могут маскировать настоящую структуру данных, а значит — вести к ошибочным выводам или неэффективным моделям.
🗨 Когда стоит рассматривать разбиение датасета вместо применения глобального преобразования
В тех случаях, когда в датасете присутствуют разные подгруппы с различными распределениями.
🔍Пример: Если есть данные о доходах из разных регионов. Один регион — с высоким уровнем доходов, другой — с низким. В совокупности распределение выглядит сильно смещённым или даже мультимодальным (несколько пиков).
В такой ситуации попытка применить глобальное преобразование (например, логарифм или Box-Cox) ко всему датасету сразу не устраняет проблему. Это всё ещё не одно распределение, а смесь разных.
✅Что делать: 📍Разбить данные на логически обоснованные подгруппы (по региону, демографии, сегменту бизнеса и т.д.). 📍Применить отдельные преобразования или даже обучить отдельные модели для каждой подгруппы. 📍При необходимости объединить результаты анализа или прогнозы обратно.
✅Что важно учитывать: 📍Разделение должно быть обосновано теоретически или доменной экспертизой. Разделение «наугад» может привести к переобучению или утечке информации. 📍Объём данных в каждой подгруппе должен быть достаточным для построения статистически надёжных моделей или трансформаций.
✅Вывод: Если данные представляют собой смешение разных источников или популяций, лучше работать с ними отдельно. Глобальные методы нормализации или преобразования могут маскировать настоящую структуру данных, а значит — вести к ошибочным выводам или неэффективным моделям.
Bitcoin mining is the process of adding new transactions to the Bitcoin blockchain. It’s a tough job. People who choose to mine Bitcoin use a process called proof of work, deploying computers in a race to solve mathematical puzzles that verify transactions.To entice miners to keep racing to solve the puzzles and support the overall system, the Bitcoin code rewards miners with new Bitcoins. “This is how new coins are created” and new transactions are added to the blockchain, says Okoro.
Библиотека собеса по Data Science | вопросы с собеседований from us
